As multimodal learning finds applications in a wide variety of high-stakes societal tasks, investigating their robustness becomes important. Existing work has focused on understanding the robustness of vision-and-language models to imperceptible variations on benchmark tasks. In this work, we investigate the robustness of multimodal classifiers to cross-modal dilutions - a plausible variation. We develop a model that, given a multimodal (image + text) input, generates additional dilution text that (a) maintains relevance and topical coherence with the image and existing text, and (b) when added to the original text, leads to misclassification of the multimodal input. Via experiments on Crisis Humanitarianism and Sentiment Detection tasks, we find that the performance of task-specific fusion-based multimodal classifiers drops by 23.3% and 22.5%, respectively, in the presence of dilutions generated by our model. Metric-based comparisons with several baselines and human evaluations indicate that our dilutions show higher relevance and topical coherence, while simultaneously being more effective at demonstrating the brittleness of the multimodal classifiers. Our work aims to highlight and encourage further research on the robustness of deep multimodal models to realistic variations, especially in human-facing societal applications. The code and other resources are available at https://claws-lab.github.io/multimodal-robustness/.

基于图像检索的应用需要在中间空间中进行编辑和关联，这些空间代表了诸如对象及其关系的高级概念，而不是密集的像素级表示，例如RGB图像或语义标签图。我们专注于这样的表示形式，场景图，并提出了一个新颖的场景扩展任务，在其中我们通过添加新节点（对象）和相应的关系来丰富输入种子图。为此，我们将场景图扩展作为一个顺序预测任务，涉及首先预测新节点，然后预测图中新预测的节点和以前的节点之间的一系列关系的多个步骤。我们为观察到的图表提出了一个测序策略，该图形保留了节点之间的聚类模式。此外，我们利用外部知识来训练我们的图生成模型，从而对节点预测进行更大的概括。由于现有的最大平均差异（MMD）指标的效率低下，用于评估节点之间的预测关系（对象），因此我们设计了新颖的指标，可以全面评估预测关系的不同方面。我们对视觉基因组和VRD数据集进行了广泛的实验，以使用标准的基于MMD的指标和我们建议的指标来评估扩展的场景图。我们观察到，与GraphRNN这样的基线方法，通过我们的方法，GEM，GEMS生成的图形更好地表示场景图的真实分布。

基于最近的现实语言建模（GPT-3）和跨模型表示（CLIP），GAUD \'我开发了帮助设计师使用自然语言搜索鼓舞人心的图像。在设计过程的早期阶段，目的是引出客户首选的创意方向，设计师通常会创建一个名为“情绪板”的鼓舞人心的图像的主题集合。创建情绪板涉及使用关键字或图像执行的顺序图像搜索。高德\'我这个转变过程中的谈话，其中用户正在逐步详细介绍了情绪板上的主题。此表示允许我们的AI从项目简报开始从PTPT-3假设的主题，从划线开始，从头开始生成新的搜索查询。与以前的电容委员会创作方法相比，据我们所知，我们的首次尝试将情绪板代表为设计人员何时向客户提出创意方向时讲述的故事。

There has been a concurrent significant improvement in the medical images used to facilitate diagnosis and the performance of machine learning techniques to perform tasks such as classification, detection, and segmentation in recent years. As a result, a rapid increase in the usage of such systems can be observed in the healthcare industry, for instance in the form of medical image classification systems, where these models have achieved diagnostic parity with human physicians. One such application where this can be observed is in computer vision tasks such as the classification of skin lesions in dermatoscopic images. However, as stakeholders in the healthcare industry, such as insurance companies, continue to invest extensively in machine learning infrastructure, it becomes increasingly important to understand the vulnerabilities in such systems. Due to the highly critical nature of the tasks being carried out by these machine learning models, it is necessary to analyze techniques that could be used to take advantage of these vulnerabilities and methods to defend against them. This paper explores common adversarial attack techniques. The Fast Sign Gradient Method and Projected Descent Gradient are used against a Convolutional Neural Network trained to classify dermatoscopic images of skin lesions. Following that, it also discusses one of the most popular adversarial defense techniques, adversarial training. The performance of the model that has been trained on adversarial examples is then tested against the previously mentioned attacks, and recommendations to improve neural networks robustness are thus provided based on the results of the experiment.

Chest X-ray (CXR) datasets hosted on Kaggle, though useful from a data science competition standpoint, have limited utility in clinical use because of their narrow focus on diagnosing one specific disease. In real-world clinical use, multiple diseases need to be considered since they can co-exist in the same patient. In this work, we demonstrate how federated learning (FL) can be used to make these toy CXR datasets from Kaggle clinically useful. Specifically, we train a single FL classification model (`global`) using two separate CXR datasets -- one annotated for presence of pneumonia and the other for presence of pneumothorax (two common and life-threatening conditions) -- capable of diagnosing both. We compare the performance of the global FL model with models trained separately on both datasets (`baseline`) for two different model architectures. On a standard, naive 3-layer CNN architecture, the global FL model achieved AUROC of 0.84 and 0.81 for pneumonia and pneumothorax, respectively, compared to 0.85 and 0.82, respectively, for both baseline models (p>0.05). Similarly, on a pretrained DenseNet121 architecture, the global FL model achieved AUROC of 0.88 and 0.91 for pneumonia and pneumothorax, respectively, compared to 0.89 and 0.91, respectively, for both baseline models (p>0.05). Our results suggest that FL can be used to create global `meta` models to make toy datasets from Kaggle clinically useful, a step forward towards bridging the gap from bench to bedside.

类比推理问题挑战了连接主义者和符号AI系统，因为这些系统需要将背景知识，推理和模式识别的结合。符号系统摄入显式域知识并执行演绎推理，但它们对噪声敏感，并且需要输入以预设符号特征。另一方面，Connectionist系统可以直接摄入丰富的输入空间，例如图像，文本或语音，即使使用嘈杂的输入也可以识别模式。但是，Connectionist模型努力将明确的领域知识用于演绎推理。在本文中，我们提出了一个框架，将神经网络的模式识别能力与象征性推理和背景知识结合在一起，以解决一类类似推理问题，其中一组属性和可能的​​关系是已知的。我们从“神经算法推理”方法[DeepMind 2020]中汲取灵感，并通过（i）基于问题的象征模型学习分布式表示（ii）培训神经网络转化反映了关系的分布式表示形式。参与问题，最后（iii）培训神经网络编码器，从图像到（i）中的分布式表示。这三个要素使我们能够使用神经网络作为操纵分布式表示的基本功能执行基于搜索的推理。我们在乌鸦渐进式矩阵中的视觉类比问题上进行了测试，并在人类绩效中实现准确性竞争，在某些情况下，优于初始端到端神经网络方法的方法。尽管最近接受大规模训练的神经模型产生了SOTA，但我们的新型神经符号推理方法是该问题的有希望的方向，可以说是更笼统的，尤其是对于可用的域知识的问题。

在这项工作中，我们解决了为野外任何演讲者发出静音唇部视频演讲的问题。与以前的作品形成鲜明对比的是，我们的方法（i）不仅限于固定数量的扬声器，（ii）并未明确对域或词汇构成约束，并且（iii）涉及在野外记录的视频，反对实验室环境。该任务提出了许多挑战，关键是，所需的目标语音的许多功能（例如语音，音调和语言内容）不能完全从无声的面部视频中推断出来。为了处理这些随机变化，我们提出了一种新的VAE-GAN结构，该结构学会了将唇部和语音序列关联到变化中。在指导培训过程的多个强大的歧视者的帮助下，我们的发电机学会了以任何人的唇部运动中的任何声音综合语音序列。多个数据集上的广泛实验表明，我们的优于所有基线的差距很大。此外，我们的网络可以在特定身份的视频上进行微调，以实现与单扬声器模型相当的性能，该模型接受了$ 4 \ times $ $数据的培训。我们进行了大量的消融研究，以分析我们体系结构不同模块的效果。我们还提供了一个演示视频，该视频与我们的网站上的代码和经过训练的模型一起展示了几个定性结果： -合成}}

近年来，通过深层生成模型，音频合成的进展很大。但是，最新的很难量化。在报告结果时，不同的研究通常使用不同的评估方法和不同的指标，从而直接与其他系统进行比较，即使不是不可能。此外，在大多数情况下，报告指标的感知相关性和含义都未知，禁止对实际的可用性和音频质量的任何结论性见解。本文介绍了一项研究，该研究与（i）一组先前提出的用于音频重建的客观指标以及（ii）一项听力研究，研究了最先进的方法。结果表明，当前使用的客观指标不足以描述当前系统的感知质量。

许多具有某种形式听力损失的人认为唇读是他们日常交流的主要模式。但是，寻找学习或提高唇部阅读技能的资源可能具有挑战性。由于对与同行和言语治疗师的直接互动的限制，Covid $ 19 $流行的情况进一步加剧了这一点。如今，Coursera和Udemy等在线MOOCS平台已成为多种技能开发的最有效培训形式。但是，在线口头资源很少，因为创建这样的资源是一个广泛的过程，需要数月的手动努力来记录雇用的演员。由于手动管道，此类平台也受到词汇，支持语言，口音和扬声器的限制，并且使用成本很高。在这项工作中，我们研究了用合成生成的视频代替真实的人说话视频的可能性。合成数据可用于轻松合并更大的词汇，口音甚至本地语言以及许多说话者。我们提出了一条端到端的自动管道，以使用最先进的通话标题视频发电机网络，文本到语音的模型和计算机视觉技术来开发这样的平台。然后，我们使用仔细考虑的口头练习进行了广泛的人类评估，以验证我们设计平台针对现有的唇读平台的质量。我们的研究具体地指出了我们方法开发大规模唇读MOOC平台的潜力，该平台可能会影响数百万听力损失的人。

双打在电影业中起着必不可少的作用。他们代替了演员在危险的特技场景或同一演员扮演多个角色的场景中代替。后来，Double的脸被演员的脸部和表达式取代，并用昂贵的CGI技术手动表达，耗资数百万美元，花了几个月的时间才能完成。一种自动化，廉价且快速的方法可以是使用旨在将身份从源面部视频（或图像）交换为目标面部视频的面部交换技术。但是，这种方法无法保留演员对场景上下文重要的源表达式。 ％对场景必不可少的。在电影院中必不可少的％。为了应对这一挑战，我们介绍了视频对视频（V2V）面部扫描，这是一项可以保留面部交换的新任务（1）源（演员）面部视频的身份和表达方式和（2）背景和目标（双重）视频的姿势。我们提出了一个V2V面部交换系统Cownoff，该系统通过学习强大的混合操作来运行，以根据上述约束来合并两个面部视频。它首先将视频减少到量化的潜在空间，然后将它们混合在减少的空间中。对抗以一种自我监督的方式进行了训练，并坚决应对V2V面部交换的非平凡挑战。如实验部分所示，面对面的表现明显优于定性和定量的交替方法。